尽管具有抽象文本摘要的神经序列到序列模型的成功，但它具有一些缺点，例如重复不准确的事实细节并倾向于重复自己。我们提出了一个混合指针发生器网络，以解决再现事实细节的缺点和短语重复。我们使用混合指针发生器网络增强了基于注意的序列到序列，该混合指针发生器网络可以生成词汇单词并增强再现真实细节的准确性和劝阻重复的覆盖机制。它产生合理的输出文本，可以保留输入文章的概念完整性和事实信息。为了评估，我们主要雇用“百拉那” - 一个高度采用的公共孟加拉数据集。此外，我们准备了一个名为“BANS-133”的大型数据集，由133K Bangla新闻文章组成，与人类生成的摘要相关。试验拟议的模型，我们分别实现了胭脂-1和胭脂 - 2分别为0.66,0.41的“Bansdata”数据集，分别为0.67,0.42，为Bans-133k“数据集。我们证明了所提出的系统超过以前的国家 - 近距离数据集的近距离攀义概要技术及其稳定性。“Bans-133”数据集和代码基础将公开进行研究。
translated by 谷歌翻译
Business processes that involve AI-powered automation have been gaining importance and market share in recent years. These business processes combine the characteristics of classical business process management, goal-driven chatbots, conversational recommendation systems, and robotic process automation. In the new context, prescriptive process monitoring demands innovative approaches. Unfortunately, data logs from these new processes are still not available in the public domain. We describe the main challenges in this new domain and introduce a synthesized dataset that is based on an actual use case of intelligent process automation with chatbot orchestration. Using this dataset, we demonstrate crowd-wisdom and goal-driven approaches to prescriptive process monitoring.
translated by 谷歌翻译
We present a new pre-trained language model (PLM) for modern Hebrew, termed AlephBERTGimmel, which employs a much larger vocabulary (128K items) than standard Hebrew PLMs before. We perform a contrastive analysis of this model against all previous Hebrew PLMs (mBERT, heBERT, AlephBERT) and assess the effects of larger vocabularies on task performance. Our experiments show that larger vocabularies lead to fewer splits, and that reducing splits is better for model performance, across different tasks. All in all this new model achieves new SOTA on all available Hebrew benchmarks, including Morphological Segmentation, POS Tagging, Full Morphological Analysis, NER, and Sentiment Analysis. Subsequently we advocate for PLMs that are larger not only in terms of number of layers or training data, but also in terms of their vocabulary. We release the new model publicly for unrestricted use.
translated by 谷歌翻译
准确的交通预测对于智能运输系统至关重要。尽管许多深度学习模型已经达到了最新的1小时交通预测，但长期交通预测跨越多小时仍然是一个重大挑战。此外，大多数现有的深度学习流量预测模型都是黑匣子，提出了与解释性和解释性有关的其他挑战。我们开发了图形金字塔自动构造（X-GPA），这是一种基于注意力的空间 - 速率图神经网络，使用了新型金字塔自相关注意机制。它可以从图表上的长时间序列中学习，并提高长期流量预测准确性。与几种最先进的方法相比，我们的模型可以实现高达35％的长期流量预测准确性。 X-GPA模型的基于注意力的分数提供了基于交通动态的空间和时间解释，这些解释会改变正常与高峰时段的流量以及工作日与周末流量的变化。
translated by 谷歌翻译
随着人们对精神危机及其社会影响的认识，在许多国家，提供紧急支持的在线服务变得司空见惯。接受寻求帮助者和提供者之间讨论的培训的计算模型可以通过识别高危个人来支持预防自杀。但是，缺乏特定领域的模型，尤其是在低资源语言中，对自动检测自杀风险构成了重大挑战。我们提出了一个模型，该模型将预训练的语言模型（PLM）与固定的一组手动制作（并经过临床批准）的自杀提示相结合，然后进行了两阶段的微调过程。我们的模型达到了0.91 ROC-AUC和0.55的F2分数，甚至在对话的早期就表现出了一系列强大的基线，这对于该领域的实时检测至关重要。此外，该模型在性别和年龄段之间表现良好。
translated by 谷歌翻译
物联网系统中的微型机器学习（Tinyml）利用MCU作为数据处理的边缘设备。但是，传统的Tinyml方法只能执行推理，仅限于静态环境或类。真实情况通常在动态环境中起作用，从而将原始神经模型不再合适的上下文漂移。因此，预训练的模型降低了其一生中的准确性和可靠性，因为记录的数据缓慢变为过时或出现新模式。连续学习策略通过对参数进行运行时进行微调维护模型。本文比较了两个实际应用中的四种最新算法：i）基于加速度计数据的手势识别和ii）图像分类。我们的结果证实了这些系统的可靠性以及将它们部署到微小的MCUS中的可行性，相对于无约束计算平台的原始模型的精确度下降了几个百分点。
translated by 谷歌翻译
最近，人们对基于变压器的模型产生有意义的文本嵌入的能力越来越兴趣，例如文本相似性。尽管该领域取得了重大进展，但相似性预测的解释仍然具有挑战性，尤其是在无监督的环境中。在这项工作中，我们提出了一种无监督的技术，用于解释预先训练的BERT模型推断出的段落相似性。通过查看一对段落，我们的技术确定了决定每个段落的语义的重要单词，在这两个段落中的单词之间匹配，并检索解释两者之间相似性的最重要对。该方法已通过广泛的人类评估进行了评估，并在包含长期复杂段落的数据集中证明了这一方法，已显示出巨大的希望，提供了与人类看法更好相关的准确解释。
translated by 谷歌翻译
我们提出了Metricbert，这是一个基于BERT的模型，该模型学会了以明确的相似性度量嵌入文本，同时遵守``传统''蒙面语言任务。我们专注于学习相似之处的下游任务，以表明公制表现优于最先进的替代方案，有时要大幅度。我们对我们的方法及其不同的变体进行了广泛的评估，这表明我们的训练目标对传统的对比损失，标准余弦相似性目标和其他六个基线非常有益。作为另一个贡献，我们发布了视频游戏描述的数据集，以及由域专家制作的一系列相似性注释。
translated by 谷歌翻译
我们为拉比希伯来语提出了一种新的预训练的语言模型（PLM），称为Berel（Bert bert嵌入了拉比编码的语言）。尽管存在其他PLM用于处理希伯来文本（例如Hebert，Alephbert），但它们都接受了现代希伯来语文本的培训，该文本在其词典，形态学，义学和正学规范方面与犹太人希伯来语有很大的不同。我们通过一组希伯来语同源物来证明贝雷尔在拉比文本上的优越性。我们发布了无限制使用的新模型和同型挑战。
translated by 谷歌翻译
SIM到现实的转移是机器人增强学习的强大范式。在模拟中训练政策的能力可以以低成本快速探索和大规模数据收集。但是，机器人策略的SIM到现实转移的先前工作通常不涉及任何人类机器人的相互作用，因为准确模拟人类行为是一个空旷的问题。在这项工作中，我们的目标是利用模拟的力量来训练熟练在部署时与人类互动的机器人政策。但是有一个鸡肉和鸡蛋问题 - 我们如何收集人与物理机器人互动的例子，以在模拟中对人类行为进行建模，而没有已经有能够与人相互作用的机器人？我们提出的方法，即迭代-SIM-to-real（I-S2R），试图解决这个问题。 I-S2R引导程序来自一个简单的人类行为模型和在模拟和在现实世界中部署的训练之间的交替。在每次迭代中，人类行为模型和政策都得到了完善。我们在现实世界的机器人乒乓球环境中评估我们的方法，该机器人的目标是尽可能长时间与人类玩家合作。乒乓球是一项高速，充满活力的任务，要求两名球员对彼此的举动迅速做出反应，从而使测试床具有挑战性，以研究人类机器人互动。我们在一个工业机器人手臂上介绍了结果，该机器人能够与人类球员合作打乒乓球，平均获得22次连续击球的集会，充其量只有150个。此外，对于80％的球员来说，与SIM-TO-REAL（S2R）基线相比，拉力长度长70％至175％。有关我们系统中的视频，请参见https://sites.google.com/view/is2r。
translated by 谷歌翻译